许多关于缩放定律的研究考虑了基本因素，例如模型大小，模型形状，数据集大小和计算功率。这些因素很容易调整，代表了任何机器学习设置的基本要素。但是研究人员还采用了更复杂的因素来估计测试误差和概括性能，并具有高可预测性。这些因素通常针对域或应用。例如，特征多样性主要用于Chen等人促进SYN到真实传递。 （2021）。由于以前的作品中定义了许多缩放因素，研究这些因素如何在使用CNN模型的自我监督学习的背景下如何影响整体概括性能。个体因素如何促进概括，其中包括不同的深度，宽度或早期停止的训练时期的数量？例如，较高的特征多样性是否导致在SYN到真实传输以外的复杂环境中保持较高的精度？这些因素如何互相取决于彼此？我们发现最后一层是整个培训中最多样化的。但是，尽管模型的测试误差随着时代的增加而减少，但其多样性下降。我们还发现多样性与模型宽度直接相关。
translated by 谷歌翻译
该底漆是为了提供终身学习不同方面的详细摘要。我们从第2章开始，该第2章提供了终身学习系统的高级概述。在本章中，我们讨论了终身学习中的突出场景（第2.4节），提供8介绍，一个由不同终身学习方法组成的高级组织（第2.5节），列举Desiderata为理想的终身学习系统（第2.6节），讨论如何讨论如何讨论终身学习与其他学习范式有关（第2.7节），描述用于评估终身学习系统的常见指标（第2.8节）。对于那些毕生学习并希望在不关注特定方法或基准的读者中，本章更有用。
translated by 谷歌翻译
在预算限制的环境中，旨在减轻不公平的环境，如执法，在采取措施之前优先考虑不公平的来源，以减轻现实世界。与以前的作品不同，这只用作数据生成后可能的歧视和偏见数据，这项工作提供了一种工具包，以减轻在数据生成期间的不公平性，除了解偏见数据之外由鉴别移除算法给出。我们假设给出了代表数据生成过程的非参数马尔科夫因果模型。假设从因果图中的敏感节点发出的边缘是不公平的来源。我们首先在任何边缘X - > Y中量化边缘流，这是由于X - > Y沿X - > Y的特定值的影响而观察y的特定值的信念。然后通过制定非制定非公式来量化边缘不公平在边缘流动方面的参数模型。然后，我们证明，在决定中对敏感群体的累积不公平，比赛在保释决定中的比赛中，当不适的不公平时是不存在的。当累积不公平不能以边缘不公平表达时，我们证明了这一结果。然后，当边缘不公平降低时，我们衡量减轻累积不公平的可能性。根据这些测量，我们提出了不公平的优先级算法，可以由政策制定者使用。我们还提出了通过消除在敏感属性的数量和由它们所采取的值中呈指数呈指数增长的优化约束来偏离数据分布的歧视删除程序。广泛的实验验证了用于量化上述措施的定理和规格。
translated by 谷歌翻译
当代理在终身学习设置中遇到连续的新任务流时，它利用了从早期任务中获得的知识来帮助更好地学习新任务。在这种情况下，确定有效的知识表示成为一个具有挑战性的问题。大多数研究工作都建议将过去任务中的一部分示例存储在重播缓冲区中，将一组参数集成给每个任务，或通过引入正则化项来对参数进行过多的更新。尽管现有方法采用了一般任务无关的随机梯度下降更新规则，但我们提出了一个任务吸引的优化器，可根据任务之间的相关性调整学习率。我们通过累积针对每个任务的梯度来利用参数在更新过程中采取的方向。这些基于任务的累积梯度充当了在整个流中维护和更新的知识库。我们从经验上表明，我们提出的自适应学习率不仅说明了灾难性的遗忘，而且还允许积极的向后转移。我们还表明，在具有大量任务的复杂数据集中，我们的方法比终身学习中的几种最先进的方法更好。
translated by 谷歌翻译
科学数据的一套简洁且可衡量的公平（可访问，可互操作和可重复使用的）原则正在转变用于数据管理和管理的最新实践，以支持和支持发现和创新。从这项计划中学习，并承认人工智能（AI）在科学和工程实践中的影响，我们为AI模型引入了一套实用，简洁和可衡量的公平原则。我们展示了如何在统一的计算框架内创建和共享公平的数据和AI模型，结合了以下要素：Argonne国家实验室的高级光子源，材料数据设施，科学数据和学习中心，Funcx和Argonne Leadersition的数据和学习中心计算设施（ALCF），尤其是ALCF AI测试台的Thetagpu SuperCuputer和Sambanova Datascale系统。我们描述了如何利用这种域 - 不足的计算框架来实现自主AI驱动的发现。
translated by 谷歌翻译
机器学习（ML）提供了在具有较大特征空间和复杂关联的数据中通常在数据中检测和建模关联的强大方法。已经开发了许多有用的工具/软件包（例如Scikit-learn），以使数据处理，处理，建模和解释的各种要素可访问。但是，对于大多数研究人员来说，将这些元素组装成严格，可复制，无偏见和有效的数据分析管道并不是微不足道的。自动化机器学习（AUTOML）试图通过简化所有人的ML分析过程来解决这些问题。在这里，我们介绍了一个简单，透明的端到端汽车管道，设计为一个框架，以轻松进行严格的ML建模和分析（最初限于二进制分类）。 Streamline专门设计用于比较数据集，ML算法和其他AutoML工具之间的性能。通过使用精心设计的一系列管道元素，通过提供完全透明且一致的比较基线，它是独特的，包括：（1）探索性分析，（2）基本数据清洁，（3）交叉验证分区，（4）数据缩放和插补，（5）基于滤波器的特征重要性估计，（6）集体特征选择，（7）通过15个已建立算法的“ Optuna”超参数优化的ML建模（包括较不知名的基因编程和基于规则的ML ），（8）跨16个分类指标的评估，（9）模型特征重要性估计，（10）统计显着性比较，以及（11）自动导出所有结果，图，PDF摘要报告以及可以轻松应用于复制数据。
translated by 谷歌翻译
用于下游重建和生成的分类潜空间信息的利用是一种有趣和相对未开发的区域。一般而言，歧视性表现在类特定的特征中，但重建太稀疏，而在AutoEncoders中，表示致密，但具有有限的无法区分的类特征，使它们不太适合分类。在这项工作中，我们提出了一种歧视的建模框架，该框架采用被操纵的监督潜在表示来重建和生成属于给定班级的新样本。与旨在模拟数据歧管分布的GAN和VAE的生成建模方法不同，基于代理（Regene）（Regene）直接表示分类空间中的给定数据歧管。在某些限制下，这种监督表示允许使用适当的解码器进行重建和受控几代，而无需执行任何先前分布。理论上，给定类，我们表明使用凸组合巧妙地操纵这些表示保留相同的类标签。此外，他们还导致了新颖的直接现实图像。关于不同分辨率的数据集的广泛实验表明，Regene在FID方面具有比现有的条件生成模型更高的分类精度。
translated by 谷歌翻译